"Come On Over Baby (All I Want Is You)" bao gồm hai phiên bản khác nhau. Bản gốc được viết bởi Paul Rein và Johan Aberg trên nền nhạc pop du dương hòa quyện với tiếng đệm piano. Còn bản thu âm mới được viết bởi chính cô, Ron Fair, nhóm Celebrity Status, Shelly Peiken và Guy Roche thì trái ngược hoàn toàn khi được phối khí lại với tiết tấu sôi động của hip hop cùng ca từ thiên về quan hệ giới tính nhiều hơn. Ở bản mới còn có thêm đoạn bridge được sử dụng bởi liên kết ca từ với bài hit "What a Girl Wants" và phần đọc rap của Aguilera nhằm thay thế đoạn chuyển interlude dựa trên bản disco "Got to Be Real" của Cheryl Lynn năm 1978.

Cũng như "Genie in a Bottle", nội dung của "Come On Over Baby (All I Want Is You)" cũng không được các nhà phê bình âm nhạc đánh giá cao khi đề cập đến quan hệ giới tính. Bài hát sẽ rất ý nghĩa nếu Aguilera chỉ thuần thể hiện cách nhìn đối với người bạn trai của mình chứ không thêm những câu rap mang tính chất mời gọi như: "Don't ya wanna be the one tonight? We can do exactly what you like. Don't ya wanna be just you and me? We can do what comes naturally".